a) Update the property in relevant mapred-site.xml(from where client load the config). b) Import ...

ambari-server resetambari-admin-password-reset https://github.com/EsharEditor/ambari-hue-service可以基 ...

近来在做项目中的技术调研，使用最新版的hdp3.1,其中使用spark2.3和hive 3.1. 遇到 一些问题，记录如下： 一，使用spark-sql client driver去访问hive创 ...

日常运维 升级 问题处理方法 日常运维 进程管理 由于配置文件的更改，需要重启生效， 或者是进程自己因某种致命原因终止， 或者发现进程工作出现异常等情况下，需要进行手动进程的关闭或启动， ...

CDH安装的ZK，三个节点，基本都是默认配置，一直用得正常，今天出现问题，客户端连接超时6倍时长，默认最大会话超时时间是一分钟。原因分析：1.首先要确认网络正确。确认时钟同步。2.查看现有的配置，基本 ...

我本机安装的环境是centos7，并在本机上安装了zookeeper,hadoop,hbase,hive等组件， 使用pdi7.1来连接hbase，把mysql表中的数据导出到hbase中去，没有问 ...

1 硬件选择 主要区分NAMENODE与DATANODE的功能需求，NN维护全局元数据信息，随着保存的INODES数量的增加，对内存需求增加，按每一百万INODES一G来粗略计算，JVM的XMX参数 ...

dremio,spark-sql,presto和ranger的整合 当前，ranger没有现成的插件来管理dremio,spark-sql,presto。 暂时使用的方法是新建一个用户，如prest ...

今天遇到一个错误，ＪＡＶＡ堆栈如下： 是在获取文件系统对象的时候出错，没有找到环境变量　　HADOOP_HOME or hadoop.home.dir ，但是在本地一直没有重现这个问题。 这个 ...

1.讲讲你做的过的项目, 项目里有哪些难点重点呢？ kafkaDirect ES /hive kafka producer 难点值得一提的有两点： 1.rdd中用到外部变量的时候如何处 ...